对抗性训练已被证明是捍卫对抗性例子的最有效的补救措施之一，但通常会遭受在看不见的测试对手身上巨大的稳定性概括差距，被认为是\ emph {对抗性强大的概括性问题}。尽管最初是针对对抗性强大的概括的初步理解，但从建筑的角度来看，知之甚少。因此，本文试图通过系统地检查最具代表性的体系结构（例如，视觉变压器和CNN）来弥合差距。特别是，我们首先对Imagenette和CIFAR-10数据集进行了对抗训练的架构\ Emph {20}对几个对手（多个$ \ ell_p $ -norm -norm对照攻击）的架构，并发现视觉变形金刚（例如，PVT，Coatnet）经常产生更好的对抗性稳定性。为了进一步了解哪种建筑成分有利于对抗性的强大概括，我们深入研究了几个关键的构建块，并通过Rademacher复杂性的镜头揭示了这一事实，即更高的重量稀疏性对更好的对手的视觉变形金刚的强大良好概括有很大贡献，这通常可以实现这一目标，这是可以实现的。通过注意层。我们的广泛研究发现了建筑设计与对抗性稳定的概括之间的密切关系，并实例化了一些重要的见解。我们希望我们的发现可以帮助更好地理解设计强大的深度学习体系结构的机制。
translated by 谷歌翻译
变压器架构已成为广泛的自然语言处理〜（NLP）模型的基本要素。随着大型NLP模型的趋势，增加的内存和计算成本阻碍了其在资源有限设备上的有效部署。因此，变压器量化吸引了广泛的研究兴趣。最近的工作认识到结构化的离群值是量化性能的关键瓶颈。但是，他们提出的方法增加了开销的计算，仍然将异常值留在那里。为了从根本上解决这个问题，本文深入研究了异常值的固有诱因和重要性。我们发现$ \ boldsymbol \ gamma $ in LaiserNorm（ln）充当异常值的有罪放大器，而异常值的重要性差异很大，其中一些代币提供的一些异常值覆盖了大面积，但可以牢固地夹住一个大面积，但可以将其夹住，而没有负面影响。 。在这些发现的激励下，我们提出了一个异常抑制框架，其中包括两个组成部分：伽玛迁移和象征性的剪辑。伽马迁移将异常放大器迁移到等效转换中的后续模块，从而导致更量化的模型而没有任何额外的负担。令牌的剪辑利用了令牌范围的较大差异，并设计了代币的粗到精细管道，以有效的方式获得了具有最小的最终量化损失的剪辑范围。该框架有效地抑制了异常值，可以在插件模式下使用。广泛的实验证明，我们的框架超过了现有作品，并且首次将6位训练后的BERT量化量化推向完整精确度（FP）级别。我们的代码可在https://github.com/wimh966/outlier_suppression上找到。
translated by 谷歌翻译
对抗训练（AT）方法有效地防止对抗性攻击，但它们在不同阶级之间引入了严重的准确性和鲁棒性差异，称为强大的公平性问题。以前建议的公平健壮的学习（FRL）适应重新重量不同的类别以提高公平性。但是，表现良好的班级的表现降低了，导致表现强劲。在本文中，我们在对抗训练中观察到了两种不公平现象：在产生每个类别的对抗性示例（源级公平）和产生对抗性示例时（目标级公平）时产生对抗性示例的不同困难。从观察结果中，我们提出平衡对抗训练（BAT）来解决强大的公平问题。关于源阶级的公平性，我们调整了每个班级的攻击强度和困难，以在决策边界附近生成样本，以便更容易，更公平的模型学习；考虑到目标级公平，通过引入统一的分布约束，我们鼓励每个班级的对抗性示例生成过程都有公平的趋势。在多个数据集（CIFAR-10，CIFAR-100和IMAGENETTE）上进行的广泛实验表明，我们的方法可以显着超过其他基线，以减轻健壮的公平性问题（最坏的类精度为+5-10 \％）
translated by 谷歌翻译
现有的二进制神经网络（BNN）主要在具有二进制功能的局部卷积上运作。但是，这种简单的位操作缺乏建模上下文依赖性的能力，这对于学习视觉模型中的歧视性深度表示至关重要。在这项工作中，我们通过介绍二进制神经模块的新设计来解决这个问题，这使BNN能够学习有效的上下文依赖性。首先，我们建议二进制多层感知器（MLP）块作为二进制卷积块的替代方案，以直接建模上下文依赖性。短距离和远程特征依赖性均由二进制MLP建模，其中前者提供局部电感偏置，后者在二元卷积中有限的接受场有限。其次，为了提高具有上下文依赖性的二进制模型的鲁棒性，我们计算上下文动态嵌入，以确定一般二进制卷积块中的二进化阈值。用我们的二进制MLP块和改进的二进制卷积，我们用明确的上下文依赖性建模构建了BNN，称为BCDNET。在标准Imagenet-1K分类基准上，BCDNET可实现72.3％的TOP-1准确性，并且优于领先的二进制方法的差距很大。尤其是，提出的BCDNET超过了最新的ReactNet-A，具有相似操作的2.9％TOP-1准确性。我们的代码可从https://github.com/sense-gvt/bcdn获得
translated by 谷歌翻译
数十亿人每天都在社交媒体上分享他们的日常生活图像。但是，它们的生物识别信息（例如，指纹）可以很容易地从这些图像中偷走。从社交媒体上泄漏的指纹泄漏的威胁引起了人们对匿名分享图像的强烈渴望，同时保持图像质量，因为指纹充当了终生的个体生物识别密码。为了防止指纹泄漏，通过在图像上添加不可察觉的扰动来作为解决方案出现。但是，现有作品要么在黑盒可传输性方面弱，要么显得不自然。由视觉感知层次结构激励（即，高级感知利用模型共享的语义，这些语义在模型中很好地转移，而低水平的感知提取物则是原始刺激的，并且会引起高视觉敏感性的刺激），我们提出了一个层次的感知噪声，注射框架以解决上述问题。对于黑盒可传递性，我们在指纹方向场上注入保护性噪声，以扰动模型共享的高级语义（即指纹脊）。考虑到视觉自然性，我们通过正规化侧向基因核的响应来抑制低级局部对比度刺激。我们的Fingersafe是第一个在数字（最高94.12％）和现实的场景（Twitter和Facebook，高达68.75％）中提供可行的指纹保护的人。我们的代码可以在https://github.com/nlsde-safety-team/fingersafe上找到。
translated by 谷歌翻译
对于黑盒攻击，替代模型和受害者模型之间的差距通常很大，这表现为弱攻击性能。通过观察到，可以通过同时攻击多样的模型来提高对抗性示例的可传递性，并提出模型增强方法，这些模型通过使用转换图像模拟不同的模型。但是，空间域的现有转换不会转化为显着多样化的增强模型。为了解决这个问题，我们提出了一种新型的频谱模拟攻击，以针对正常训练和防御模型制作更容易转移的对抗性例子。具体而言，我们将频谱转换应用于输入，从而在频域中执行模型增强。从理论上讲，我们证明了从频域中得出的转换导致不同的频谱显着图，这是我们提出的指标，以反映替代模型的多样性。值得注意的是，我们的方法通常可以与现有攻击结合使用。 Imagenet数据集的广泛实验证明了我们方法的有效性，\ textit {e.g。}，攻击了九个最先进的防御模型，其平均成功率为\ textbf {95.4 \％}。我们的代码可在\ url {https://github.com/yuyang-long/ssa}中获得。
translated by 谷歌翻译
深处神经网络（例如Deep-FSMN）已被广泛研究以用于关键字发现（KWS）应用。但是，这些网络的计算资源通常受到重大限制，因为它们通常在边缘设备上在通话中运行。在本文中，我们提出了BIFSMN，这是KWS的准确且极高的二元神经网络。我们首先为二进制化训练构建了高频增强蒸馏方案，该方案强调了全优先网络表示的高频信息，这对于对二进制网络的优化更为重要。然后，为了在运行时允许即时和自适应的准确性效率折衷，我们还提出了一个可稀薄的二进制架构，以从拓扑角度进一步解放二进制网络的加速潜力。此外，我们在ARMV8设备上为BIFSMN实施了快速的位计算内核，该内核充分利用了寄存器并增加了指令吞吐量以突破部署效率的极限。广泛的实验表明，BIFSMN通过说服各种数据集的利润率优于现有的二进制方法，甚至与全精度对应物相当（例如，语音命令v1-12下降少于3％）。我们强调的是，BIFSMN受益于稀薄的体系结构和优化的1位实现，可以在现实世界中的Edge硬件上实现令人印象深刻的22.3倍加速和15.5倍的存储空间。
translated by 谷歌翻译
打开世界对象检测（OWOD），模拟知识持续增长的真正动态世界，试图检测已知和未知的类别，并逐步学习所识别的未知组。我们发现，尽管以前的欧瓦德工作建设性地提出了OWOD定义，但实验设置与不合逻辑的基准，令人困惑的度量计算和不当方法是不合理的。在本文中，我们重新思考OWOD实验环境，并提出了五项基本基准原则，以指导OWOD基准建设。此外，我们设计了两个特定于OWOD问题的公平评估协议，从未知课程的角度填充了评估的空白。此外，我们介绍了一个新颖且有效的OWOD框架，其中包含辅助提案顾问（PAD）和特定于类驱逐分类器（CEC）。非参数垫可以帮助RPN识别无需监控的准确未知提案，而CEC通过特定于类的驱逐函数校准过自信的激活边界并滤除令人困惑的预测。在我们的公平基准上进行的综合实验表明，我们的方法在现有的和我们的新指标方面表明了其他最先进的对象检测方法。\脚注{我们的基准和代码可在https://github.com提供/重新驱动/重新驱动。
translated by 谷歌翻译
具有积极获取周围环境的能力的机器人将大大有利于长期自主权，并在不确定的环境中生存。在这项工作中，我们提出了一种能够用导电墨水绘制电路的机器人，同时还重新排列视觉世界以从电源接收最大能量。一系列电路绘图任务旨在模拟现实世界的情景，包括避免物理障碍和区域，这些障碍物和可能停止绘制电路的区域。我们采用最先进的运输网络，从视觉观察中挑选操纵。我们在模拟和现实世界的环境中进行实验，我们的结果表明，通过少量的示范，机器人学会重新排列物体的放置（去除障碍物和不适合绘制的桥接区域）并连接电源最小量的导电油墨。随着自治机器人越来越多，在我们的房屋和其他行星中，我们所提出的方法为机器带来了一种新的方法，以便通过重新排列周围环境来保护自己的电路。
translated by 谷歌翻译
模型二进制化是一种压缩神经网络并加速其推理过程的有效方法。但是，1位模型和32位模型之间仍然存在显着的性能差距。实证研究表明，二进制会导致前进和向后传播中的信息损失。我们提出了一个新颖的分布敏感信息保留网络（DIR-NET），该网络通过改善内部传播和引入外部表示，将信息保留在前后传播中。 DIR-NET主要取决于三个技术贡献：（1）最大化二进制（IMB）的信息：最小化信息损失和通过重量平衡和标准化同时同时使用权重/激活的二进制误差； （2）分布敏感的两阶段估计器（DTE）：通过共同考虑更新能力和准确的梯度来通过分配敏感的软近似来保留梯度的信息； （3）代表性二进制 - 意识蒸馏（RBD）：通过提炼完整精确和二元化网络之间的表示来保留表示信息。 DIR-NET从统一信息的角度研究了BNN的前进过程和后退过程，从而提供了对网络二进制机制的新见解。我们的DIR-NET中的三种技术具有多功能性和有效性，可以在各种结构中应用以改善BNN。关于图像分类和客观检测任务的综合实验表明，我们的DIR-NET始终优于主流和紧凑型体系结构（例如Resnet，vgg，vgg，EfficityNet，darts和mobilenet）下最新的二进制方法。此外，我们在现实世界中的资源有限设备上执行DIR-NET，该设备可实现11.1倍的存储空间和5.4倍的速度。
translated by 谷歌翻译